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La valutazione è un processo che richiede chiarezza nelle scelte 
legate agli obiettivi e alle motivazioni. Un processo che genera co¬ 
noscenze, ma anche le utilizza, che promuove apprendimento ma 
anche introduce la propensione verso comportamenti opportunistici. 
Il tema della valutazione della ricerca, i suoi obiettivi e gli scopi, ha 
attirato l'attenzione delle comunità scientifiche disciplinari anche 
e soprattutto nell'ambito delle scienze umane, dove il discorso su 
quantità e qualità è sempre stato affrontato con un certo distacco, 
quasi fosse un tema non di diretta pertinenza. Le riflessioni in que¬ 
sto ambito hanno però subito una improvvisa accelerazione con 
la nomina dell'Agenzia di Valutazione del Sistema Universitario e 
della Ricerca (ANVUR) nel 2010 e ancor di più con l'avvio dell'e¬ 
sercizio nazionale di valutazione (Valutazione della Qualità della 
Ricerca (VQR) 2004-2010), 1 suscitando critiche, proposte e richieste 
di modifiche, ma anche dando avvio ad una vivace discussione su¬ 
gli indicatori e sulle metodiche da applicare. Nonostante in molti 
si siano sentiti in diritto di parlare e scrivere di valutazione della 


1 http: / /www.anvur.org/ ?q=schema-dm-vqr- definitivo 
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ricerca in questi ultimi tempi, 2 pochi sono davvero titolati a farlo. 
La valutazione (della ricerca ma non solo) costituisce un'area di 
studio di carattere trasversale che associa l'approfondimento delle 
problematiche, teoriche e pratiche, connesse all'esercizio valutativo 
(perché si valuta, per chi si valuta, come si valuta, che uso si fa 
e si può fare della valutazione) ai contenuti e alle caratteristiche 
dell'oggetto e dei soggetti sottoposti a valutazione. 

In pratica per poter correttamente valutare un prodotto della 
ricerca non basta possedere le competenze scientifiche della corri¬ 
spondente area disciplinare ma è anche necessario avere dimesti¬ 
chezza con le problematiche, ancora una volta teoriche e operative, 
per poter esercitare detta competenza. E, ovviamente, viceversa. 
In Italia manca (o meglio mancava fino a qualche tempo fa) una 
vera cultura della valutazione, manca una tradizione seria di studi 
sulla valutazione della ricerca, mancano centri di gestione e analisi 
dei dati che rappresentino il riferimento per chi si occupa di que¬ 
ste tematiche, 3 manca un sistema informativo efficace ed efficiente, 
mancano dati affidabili e completi, il tutto anche in ragione di una 
domanda che finora non aveva rappresentato una motivazione co¬ 
sì rilevante per attivare un circuito positivo in grado di sostenere 
processi tendenzialmente deboli e contraddittori. 

Con l'avvio dell'esercizio nazionale, pur con tutte le contrad¬ 
dizioni e le critiche derivate, le polemiche ma anche i contributi 
propositivi, si è assistito a un'inversione di tendenza che ha fatto 
emergere competenze diffuse, interessi ed esperienze poco noti fi¬ 
no a questo momento e che dovrebbero in qualche modo essere 
ricondotti a unità per poter essere sfruttati appieno. 

2 Gli interventi su quotidiani o riviste divulgative, su blog e siti dedicati si sono mol¬ 
tiplicati in questi ultimi tempi, alimentando un dibattito vivace e molto partecipato 
dai diretti interessati. 

3 Un esempio potrebbe essere l'IFQ di Berlino o il CWTS di Leiden o il 
Wissenschaftsrat. 
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Il primo errore che si rawisa nei contributi che appaiono quoti¬ 
dianamente nei giornali, nei convegni o nei blog è quello relativo alla 
capacità di correlare la strumentazione scelta agli obiettivi (espliciti 
e impliciti) della valutazione, ovvero la non distinzione del livello 
a cui la valutazione si applica e la diversa natura del committente, 
da cui derivano poi necessariamente oggetto, indicatori e metodi¬ 
che utilizzati: come se si potessero applicare gli stessi criteri alla 
valutazione dei Dipartimenti a livello nazionale o a livello di ateneo, 
alla valutazione dei settori o dei singoli ricercatori. In realtà deve 
essere ben chiaro che le diverse dimensioni (Ateneo, Dipartimenti, 
Aree/gruppi di SSD, SSD, individui) non sono direttamente scala¬ 
bili o cumulabili o confrontabili, in quanto rispondono a criteri e 
metodi diversi di analisi, senza dimenticare che i fenomeni sotto 
osservazione sono dinamici e non sempre la rilevazione viene fatta 
nel momento ritenuto corretto rispetto al problema da affrontare. 4 

Di conseguenza le classifiche che ne derivano sono sempre relati¬ 
ve e tendono alla semplificazione di una realtà complessa. 5 Nel 2010 
un gruppo di esperti della DG Ricerca della Commissione Europea 
su Assessment of University-Based Research (AUBR) ha pubblicato 
un interessante rapporto in cui, fra gli altri argomenti, s'introdu¬ 
ce il concetto di matrice multidimensionale della valutazione della 
ricerca, da cui emerge chiaramente la complessità del tema in cui 

4 In riferimento all'attività di un Dipartimento, di un gruppo di ricerca, di un 
ricercatore. E' possibile infatti che la valutazione prenda in esame un periodo di 
(apparente) inattività a cui può seguire un periodo molto fecondo, o che non si 
consideri le trasformazioni nelle mission e nelle composizioni delle strutture piuttosto 
che i condizionamenti esterni. 

5 Questo punto va tenuto in conto nel momento in cui si decide quale uso fare 
della valutazione. 

Come ben ricordato a Padova da Giovanni Pascuzzi (La valutazione dei prodotti 
scientifici nell'area giuridica) la valutazione incide sull'attribuzione di risorse agli 
atenei, sulle politiche di reclutamento, sullo stato giuridico dei professori e sulla loro 
retribuzione, sulle procedure concorsuali e sulla scelta dei progetti da finanziare. 
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hanno un ruolo fondamentale l'unità scelta, lo scopo, le dimensioni 
dell'output, gli indicatori bibliometrici e altre tipologie di indicato¬ 
ri (Expert group on AUBR). Come si può vedere nella figura 1 gli 
indicatori bibliometrici sono una parte all'interno della matrice, a 
cui però nella discussione nazionale e interna alle comunità scientifi¬ 
che disciplinari è stato attribuito un peso forse eccessivo, 6 facendo 
emergere posizioni radicali sia di fiducia che di sfiducia. 7 
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Figura 1: The multi-dimensional research assessment matrix. This table 
presents a core part of thè matrix, not thè entire matrix. It aims to 
illustrate what thè matrix looks like. It should be read column-wise: 
each column represents a different dimension (Moed e Piume) 


È necessario ricordarsi che l'università ha ruoli e funzioni diver¬ 
se, difficilmente cumulabili ed esprimibili con indici sintetici. Ad 

6 Quasi la valutazione della ricerca potesse essere ridotta agli indicatori 
bibliometrici. 

7 Si vedano al proposito gli interventi sul sito di ROARS (http://www.roars.it) e le 
repliche di ANVUR (ANVUR. Consiglio direttivo; Bonaccorsi). 
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esempio un ricercatore molto produttivo e di grande impatto può 
essere un cattivo docente e viceversa o la sua performance può av¬ 
venire a scapito di altre funzioni e/o di altri ricercatori. Nella analisi 
della produzione scientifica di dipartimenti, ricercatori e gruppi 
bisogna decidere come considerare le aree/tematiche nuove, come 
bilanciare le distorsioni determinate da comunità scientifiche picco¬ 
le, chi premiare e come premiare, come aumentare la performance 
complessiva e come gestire le informazioni e le conoscenze che si 
generano, come valorizzare i percorsi migliorativi. Se la qualifica¬ 
zione scientifica avviene a scapito di altre funzioni dell'università 
bisogna vedere come bilanciare ruoli e funzioni rispetto agli obiettivi 
da perseguire. In tutti questi casi la matrice che si dovrà comporre 
sarà diversa e diversi saranno gli indicatori utilizzati. 


Qualità e quantità 

Mentre l'idea della necessità della valutazione dell'università 
appare a questo punto largamente condivisa e ormai accettata da 
tutte le comunità scientifiche, meno condivise sembrano essere le 
finalità 8 e ancor meno le modalità attraverso le quali essa deve es¬ 
sere realizzata. L'ANVUR ha dovuto predisporre, in pochissimo 
tempo, una macchina credibile in grado di associare gli strumen¬ 
ti ai fini dichiarati, dovendo in molti casi svolgere un compito di 
indirizzo e di giustificazione concettuale delle scelte proposte e, in 
alcuni casi, di sostituzione rispetto a informazioni, competenze e 

8 "La valutazione della ricerca non deve essere percepita come un meccanismo 
burocratico o censorio, ma come preziosa opportunità per mettere a fuoco aspetti 
nevralgici della performance delle strutture di ricerca" [... ] (Comitato di Indirizzo 
per la Valutazione della Ricerca); "Tutte le università dovranno ripartire da zero. E 
quando la valutazione sarà conclusa, avremo la distinzione tra researching university e 
teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E 
qualche sede dovrà essere chiusa" (Fiori, «Laurea DOC. Intervista a S. Benedetto»). 
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"tools" non sempre disponibili. In pratica una macchina che, anche 
in ragione delle scelte fatte sulla quantità e rappresentatività dei 
prodotti da considerare, permettesse di valutare con metodiche e 
indicatori differenti a seconda delle aree disciplinari una enorme 
quantità e varietà di lavori di ricerca, con numeri che avrebbero 
potuto mettere in crisi sistemi che hanno una tradizione ben più 
consolidata quali quello australiano o britannico. 9 Nonostante gli 
ostacoli la VQR ha preso avvio, e benché i più scettici sottolineino il 
suo carattere di ipoteca sulle valutazioni future (anche individuali), 
gli errori metodologici, inevitabili dato il poco tempo a disposizione, 
l'opinabilità delle scelte compiute (alcune decisamente sbagliate), 
questo primo passo ha generato riflessioni e discussioni importanti 
per una evoluzione delle pratiche valutative nell'ambito della ri¬ 
cerca, ha stimolato il confronto spesso anche con toni accesi e ha 
portato il discorso sulla valutazione, prima relegato nei nuclei di 
valutazione e negli osservatori, sulle pagine dei quotidiani. 10 Alcuni, 
dati alla mano, sostengono che piuttosto che una cattiva valutazione 
meglio nessuna valutazione, e consigliano all'ANVUR di fermarsi 
per poter partire con indicatori e metodi più robusti. 11 In questa 
sede ci limiteremo a sottolineare che l'avvio di questo esercizio di 
valutazione nazionale ha portato ad una consapevolezza diffusa che 
prima era completamente assente e questo è un fenomeno positivo. 

In Italia le comunità scientifiche afferenti alle aree delle Scienze 
umane e Sociali, corrispondenti alle aree CUN10-14, 12 hanno comin¬ 
ciato solo negli ultimi anni (alcuni settori solo in epoca recentissima) 


9 La VQR 2004-2010 riguarderà 195240 lavori di ricerca e 68237 ricercatori, numeri 
impressionanti rispetto agli altri esercizi nazionali. 

10 Si veda ad esempio il post riassuntivo su ROARS (30 aprile 2012), Il dibattito sui 
rankings di riviste http://www.roars.it/online/?p=7836. 

n Si vedano ad esempio i post di Alberto Baccini o di Giuseppe de Nicolao su 
http://www.roars.it in merito alla bibliometria dell'ANVUR. 

12 Vedremo con una serie di distinguo almeno per l'area 13. 
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ad occuparsi di indicatori quantitativi e qualitativi, ma a fronte della 
scarsa esperienza hanno potuto contare su un'ampia letteratura sul 
tema (anche in senso critico) e sugli esiti degli esercizi portati avanti 
negli altri paesi a livello europeo e internazionale (Wissenschaftsrat; 
KNAW, Standard evaluation Protocol 2009-2015 ; Qnality indicators far 
research in thè Humanities ; Martin et al.) e hanno avuto quindi (per 
chi ha saputo coglierla) la possibilità di evitare di prendere strade 
già percorse e interrotte da chi le ha precedute. 

Per tradizione e anche per una serie di motivi contingenti - cro¬ 
nica mancanza di dati (Hicks e Wang; Martin et al.), molteplicità 
dei canali di comunicazione dei risultati della ricerca difficilmente 
tracciabili dai database citazionali, differenti modalità e tempi ci- 
tazionali (Huang e Chang; Hellqvist), uso della lingua nazionale - 
le scienze umane hanno sempre considerato la peer revieiv, peraltro 
spesso esercitata in forme non strutturate, come l'unico strumento 
di valutazione possibile per certi ambiti disciplinari. Certamente la 
peer revieiv è stata applicata a vari livelli alla valutazione di progetti, 
persone, gruppi e lavori di ricerca, ma non sempre i criteri utilizzati 
(dalla scelta dei revisori, alla modalità di revisione, alla modalità di 
decisione nel caso di pareri discordi) sono stati resi noti in maniera 
trasparente. Ciò è vero in particolare per le riviste nazionali (il target 
per la maggior parte degli studiosi delle scienze umane e sociali). 

La brusca accelerazione dei processi legati alla valutazione de¬ 
terminatasi con l'operatività dell'ANVUR ha provocato anche l'ac¬ 
celerazione delle procedure di accreditamento delle sedi editoriali 
(collane, riviste, case editrici), anche se è difficile capire per il mo¬ 
mento se quanto dichiarato dalle varie redazioni corrisponda a una 
reale prassi editoriale. Si è dunque avviata una vivace discussio¬ 
ne, non priva di toni polemici, sulle modalità di conduzione della 
peer revieiv presso le sedi editoriali nazionali, sul confronto con gli 
standard europei, sulla opportunità di cercare di pubblicare all'este- 
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ro (o di pubblicare in Italia ma utilizzando la lingua inglese) e sul 
senso dell'utilizzo e affiancamento di indicatori quantitativi per la 
valutazione nelle aree 10-14. 

Dovendo attuare valutazioni su ampia scala, che coinvolgono 
strutture e gruppi di ricerca la peer reviezv presenta dei limiti, in 
particolare se non inquadrata attraverso meccanismi trasparenti e 
riproducibili, relativi alla qualificazione degli esperti 13 e a database 
ricchi di informazioni atte a favorire la corretta allocazione tra ogget¬ 
to d'analisi e expertise del revisore. Tali limiti riguardano soprattutto 
la credibilità del processo, e la possibilità che rieasca a fornire ri¬ 
sultati utili anche in termini di comparazione e benchmarking , 14 e il 
meccanismo di gestione, oneroso in termini di tempi e costi. Sempre 
di più quindi si è affermata (questo a dire il vero anche per le aree 
01-09) l'idea dell'impiego della informed peer reviezv, 15 cioè di una 
revisione dei pari in cui al valutatore sono resi noti alcuni elementi 
in grado di supportarne il giudizio o, eventualmente, di correggerlo 
e in cui i difetti della valutazione qualitativa si equilibrino con quelli 
derivanti dalla valutazione quantitativa. 

Per le scienze dure la peer reviezv viene normalmente affiancata, o 
preceduta, dagli indicatori bibliometrici che però nelle scienze uma¬ 
ne non risultano disponibili per una serie di motivi noti, sia legati ai 
prodotti (e alla loro modalità di produzione) e alle tipologie di lavori 
di ricerca (saggi, monografie vs. articoli), sia connessi alle modalità 

13 Si veda ad es. la risposta di P.P. Giglioli a I. Colozzi, Presidente del GEV 14, 
http://www.roars.it/online/?p=8285#more-8285 

14 Si pensi alla difficoltà di ricondurre giudizi analitici a giudizi quantitativi o le 
difficoltà derivanti dalle dimensioni ridotte delle comunità scientifiche in alcuni 
settori che annullano i meccanismi blind caratteristici della peer review. 

15 I1 documento di accompagnamento dei criteri dei GEV (29 febbraio 2012), in¬ 
dividua nella informed peer review la tecnica scelta per la valutazione da tut¬ 
ti i GEV, ciascuno secondo le proprie peculiarità e a seconda delle tipologie di 
lavori valutati, http: / /www. anvur.org /sites/anvur-miur/files /gev/ documento^ 
accompagnamento_criteri.pdf 
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di citazione che ne rendono difficile la raccolta (citazioni a pie' di 
pagina piuttosto che in fondo all'articolo, citazioni a monografie 
e saggi piuttosto che ad articoli), o ai tempi di citazione che sono 
molto più lunghi che per le scienze dure. La struttura stessa della 
comunicazione scientifica nelle scienze umane, e il minor interesse 
economico di un mercato esterno alla "ricerca per la ricerca", ha 
impedito la creazione di database bibliometrici in grado di fornire 
indicatori quantitativi e di impatto delle pubblicazioni scientifiche, e 
i lavori e gli studi orientati in tal senso sono rimasti per il momento a 
livello puramente teorico. 16 Negli ultimi anni c'è stato un proliferare 
di indici bibliometrici di vario tipo. Legati all'autore, al lavoro di 
ricerca, alla rivista. Essi appaiono meno costosi della pecr revieiv, 17 
di più facile implementazione e permettono la comparazione fra 
strutture gruppi e persone. Gli indici bibliometrici permettono però 
solo di cogliere alcuni aspetti della qualità di una pubblicazione (o di 
un autore); sono deboli rispetto alla qualità intrinseca. La principale 
caratteristica che un indice bibliometrico deve avere è la coerenza 

• rispetto a banche dati diverse; 

• rispetto alle pratiche della comunità scientifica di riferimento. 

Moed («The multi-dimensional research assessment matrix») ha 
sottolineato come con l'avanzare degli studi sugli indici e l'appli¬ 
cazione degli stessi si sia ormai arrivati alla terza generazione di 
indicatori bibliometrici (tabella 1 nella pagina successiva). 

L'elemento determinante ai fini di disporre di indici coerenti 
è la disponibilità di dati bibliografici accurati. Questi dati, per le 

16 Si veda lo studio commissionato da alcune società scientifiche europee (Martin 
et al.): in un recente convegno a Venezia lo stesso Ben Martin ha dichiarato che non 
è ancora ben chiaro se i costi per la costituzione di un database bibliometrico per le 
scienze umane e sociali sarebbero giustificati dai benefici. 

17 Anche se il lavoro di pulizia dei dati prima che possano essere utilizzati è 
piuttosto lungo e oneroso. 
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Tipo (generazione) 

Descrizione 

Esempi 

Prima generazione 

Indicatori di base, facili da 
ottenere da fonti attestate, 
ormai disponibili da decenni 

Numero di pubblicazioni, 

numero di citazioni, 

metriche dell'impatto della rivista 

Seconda generazione 

Indicatori relativi o normalizzati 
per area disciplinare 

Media di citazioni relativa 
o normalizzata per l'area disciplinare 

Terza generazione 

Indicatori basati sulla analisi 
avanzata del network, utilizzando 
parametri come 
la centralità del network 

Scimago joumal rank, 
indicatori del "prestigio" (pesa 
di più una citazione che viene 
da una rivista di maggior prestigio) 


Tabella 1 


scienze umane, non sono attualmente disponibili. 18 Anche gli indici 
bibliometrici hanno attirato una serie di critiche e perplessità. Ad 
esempio il fatto che sono facilmente manipolabili, il timore che nel 
lungo periodo l'uso degli indicatori bibliometrici possa condurre 
a comportamenti adattivi quali la ricerca di pubblicare su riviste 
considerate eccellenti e per le quali è necessario scrivere di tema¬ 
tiche mainstream trascurando linee di ricerca più originali ma più 
"rischiose" dal punto di vista dell'impatto immediato, oppure il fat¬ 
to che ci si indirizzi verso tipologie di pubblicazioni considerate 
più "redditizie" dal punto di vista del riconoscimento (articolo vs. 
monografia). 

In alcuni paesi, ad esempio la Gran Bretagna, l'impiego degli 
indicatori bibliometrici è stato rifiutato come unica fonte informativa 
per la valutazione 19 

18 Attualmente esistono gli strumenti di raccolta dei dati (le anagrafi locali), ma 
manca totalmente a livello centrale una politica di gestione e raccolta dei dati. Una 
policy comune rispetto ai dati (chi, cosa, come, su che arco temporale e secondo quali 
criteri di validazione) potrebbe modificare radicalmente la situazione (Capaccioni e 
Spina). 

19 Non così in altri paesi: si veda infatti rinternational audit of research develop- 
ment and Innovation commissionato dalla repubblica Ceca a Technopolis dove ricerca¬ 
tori del CWTS hanno effettuato una analisi sulla qualità della ricerca basandosi esclusi¬ 
vamente su indicatori bibliometrici http://www.technopolis-group.com/resources/ 
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Bibliometrics are not sufficiently robust at this time to be used 
formulaically or to replace expert verdict in thè REF (HEFCE). 

Il numero sembra oggettivo, ma non dice nulla sul ruolo dell'autore, 
l'età, la tipologia del lavoro. 

In assenza di indicatori bibliometrici e di basi di dati affidabili 
ed esaustive, ma con la stessa necessità delle scienze dure di poter 
condurre una informed peer revieiv, nell'ambito delle scienze umane 
alla peer review degli articoli si è pensato di affiancare altri tipi di 
indicatori che riprendono il principio secondo il quale il valore del 
contenuto corrisponde tendenzialmente al valore del contenitore. 20 
Sono nate dunque da qualche anno, e a cura di soggetti diversi, liste 
di riviste organizzate per classi di merito. La scelta di partire dalle 
riviste è da un lato strana, dall'altro è stata una scelta obbligata. 

E' strano che si sia partiti dalle riviste perché gli articoli su rivista 
(con percentuale variabile nelle aree 10-14) non erano e non sono as¬ 
solutamente il canale privilegiato per la comunicazione dei risultati 
scientifici. Gli umanisti scrivono e ritengono più qualificanti soprat¬ 
tutto saggi o monografie. E stata dall'altro lato una scelta obbligata 
perché forse più semplice rispetto a un modello per la valutazione 
delle collane o delle monografie, che attualmente nel nostro sistema 


downloads/reports/1315_CzAudit_FinalRep_3- Quality_of_Research_EM.pdf. 

20 Questo assunto, valido per chi utilizza indicatori riferiti alle riviste (IF SfR SNIP 
ecc.), risulta smentito dalla distribuzione delle citazioni all'interno dei diversi journal 
che assai spesso è asimmetrica (pochi articoli che ricevono il maggior numero delle 
citazioni, molti articoli che non ricevono alcuna citazione) secondo il principio di 
Pareto. Tuttavia Bonaccorsi («Potenzialità e limiti dell'analisi bibliometrica nelle aree 
umanistiche e sociali. Verso un programma di lavoro») sostiene che l'assegnazione 
di riviste a classi di qualità fornisce una informazione a priori circa il valore atteso 
della qualità dei singoli articoli. Nelle riviste con alto indice di impatto è più difficile 
pubblicare, c'è un maggiore rejection rate e la selezione è più severa, ci si aspetta 
dunque una qualità più elevata degli articoli pubblicati. 
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editoriale non sono univocamente classificabili. 21 Già da parecchi 
anni, a livello internazionale, europeo e di singoli paesi, circolano 
elenchi che classificano le riviste in fasce di merito (tre o quattro 
a seconda delle aree scientifiche) sulla base di criteri predetermi¬ 
nati. Queste liste sono nate per vari scopi. Fra i più noti e diffusi, 
ERIH (European Reference Index for thè Humanities), 22 ora arrivato 
alla sua seconda versione, era nato inizialmente con lo scopo di 
documentare la produzione scientifica europea di qualità lasciando 
ampio spazio alle pubblicazioni in lingue diverse dall'inglese. 23 

Il primo elenco di riviste, molto criticato, è stato pesantemente 
emendato. Siamo alla fase di revisione quasi completata. I criteri di 
distribuzione delle classi di merito (che prima utilizzavano le lettere 
A B e C con l'avvertenza che non si trattava di fasce qualitative) 
distinguono fra riviste nazionali e internazionali che pubblicano 
ricerche rilevanti, citate e prestigiose a livello nazionale, europeo 
o internazionale. La revised lisi pubblicata nel 2011 comprende in 
questo momento solo 10 delle iniziali 15 categorie. 

Aeres (l'Agenzia per la valutazione della ricerca francese) ha 
creato una lista di riviste 24 per le Scienze sociali e umane per fornire 
ai valutatori 

la liste des revues qui, par discipline ou domarne, tiennent une 

21 Nel senso che vi è una grande variabilità di qualità e impostazione non solo 
aH'interno di una casa editrice, ma anche all'interno della stessa collana, per cui 
accanto a ricerche scientifiche troviamo testi divulgativi e didattici. 

22 http : / / www.esf. org / research- areas /humanities / 
erih- european- reference- index- for- thè- humanities .html. 

23 "It is also a unique project because, in thè context of a world dominated by 
publication in English, it highlights thè vast range of world-class research published 
by humanities researchers in thè European languages". http://www.esf.org/ 
research- areas / humanities / erih- european- reference- index- for- thè-humanities / 
erih-foreword.html. 

24 http:// www.aeres-evaluation.fr/Publications/Methodologie-de-l-evaluation/ 
Lis tes-de-revues-SHS-sciences-humaines-et-sociales. 
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place importante dans la diffusion des résultats de la recherche 
à l'échelle nationale et surtout internationale. 

L' Agenzia francese in una prima fase (2008) aveva anche suddiviso 
i titoli in fasce di merito; nelle liste aggiornate invece c'è un'unica 
fascia di merito che comprende tutte le riviste accreditate. 

L'Australian Research Council (ARC) 25 ha deciso di avviare nel 
2008 un censimento delle riviste significative per tutte le aree scienti¬ 
fiche elaborando una prima lista di 19500 periodici divisi in 4 classi 
(A* ABC) poi sottoposta al giudizio delle comunità scientifiche 
che hanno fatto integrazioni e cancellazioni. Alcuni articoli dimo¬ 
strano come nel passaggio dalla lista iniziale a quella delle società 
scientifiche ci siano stati riaggiustamenti anche molto significativi 
(Lamp). 

Alla fine del lavoro di censimento l'ARC ha deciso che la lista 
non sarebbe stata utilizzata per ERA 2010 (l'esercizio di valutazione 
australiano). 26 Il ministro per la ricerca e l'innovazione ha accolto le 
lamentele di molti ricercatori che giudicavano la lista inadeguata e 
fortemente sbilanciata, sottolineavano i possibili effetti sulle scelte 
editoriali future che avrebbero soffocato le riviste molto speciali¬ 
stiche e non nel mainstream e soprattutto lamentavano il possibile 
utilizzo (scorretto) di tale lista per la valutazione dei singoli: 

There is clear and consistent evidence that thè rankings we- 
re being deployed inappropriately within some quarters of 
thè sector, in ways that could produce harmful outcomes, 
and based on a poor understanding of thè actual role of thè 
rankings . 27 

25 http://www.arc. gov.au. 

26 http://www.arc.gov.au/era/era_2012/review_of_eral0_ranked_outlet_lists. 

htm. 

27 I1 ministro aggiunge nella sua comunicazione: "Instead of rankings thè Au- 
stralian System will incorporate journal quality profiles. [...] "thè removai 
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Le liste di riviste in Italia 

L'attività di censimento e classificazione in fasce di merito delle 
riviste ha preso dunque avvio anche in Italia con una orchestrazione 
meno centralizzata e organizzata che negli esempi sopra citati par¬ 
tendo, come avviene in molti casi, dal basso. Questo ha fatto sì che a 
fronte di un lavoro serio e accurato (ma autoreferenziale) da parte 
delle singole società scientifiche che hanno avviato le attività di cen¬ 
simento, i risultati finali siano difficilmente comparabili in quanto 
i criteri utilizzati, la suddivisione in fasce, l'ampiezza di ciascuna 
fascia sono state decise in maniera indipendente e difficilmente 
riconducibile a unità. 

Alcune società scientifiche, quelle più orientate verso l'interna¬ 
zionalizzazione, includono nella lista tutte le riviste straniere signifi¬ 
cative per la disciplina, attribuendo di default alle riviste presenti nei 
database citazionali (WOS principalmente) la classe di merito più 
alta (si pensi alla recente lista della Società italiana degli economi¬ 
sti). 28 Altre società scientifiche hanno invece classificato e suddiviso 
in classi di merito solo le riviste italiane partendo dal presupposto 
che comunque le riviste di lingua inglese, se di valore, sono già 
incluse nei database citazionali e sono quindi già dotate di indicatori 
bibliometrici. 

Il risultato di queste attività non sono dei ranking in cui le riviste 
vengono messe in ordine di punteggio, ma appunto delle classi di 
merito, e quindi rating, di ampiezza variabile a seconda dei criteri 
definiti a priori dalle società scientifiche stesse e in molti casi validati 
dalle comunità scientifiche di riferimento. Quando si creano stru- 

of thè ranks and thè provision of thè publication profile will ensure they will 
be used descriptively rather than prescriptively" http://chronicle.com/article/ 
Journal- Ranking- System- Gets/127737/. 

28 http:// www.siecon.org/online/wp-content/uploads/2012/03/Nota-CdP-13. 
03.2012.pdf. 
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menti di questo tipo è necessario conoscerne i limiti, non pensare 
che la qualità del contenitore sia sempre e comunque trasferibile al 
contenuto, né che queste liste possano essere strumenti oggettivi, 
che permettano di superare la soggettività e i limiti dei giudizi dei 
pari. 29 Tutti gli strumenti di misurazione quantitativa, per quanto 
imperfetti, sono comodi perché consentono una rappresentazione 
sintetica e semplificata della realtà, ed è questo il motivo del loro 
successo, soprattutto se il giudizio risultante è condiviso, aggiunge 
informazione (o non introduce criticità) rispetto a quanto comune¬ 
mente percepito. In una parola se consente una lettura generale 
accettando magari di rinunciare ai dettagli e alle anomalie. 

Nel corso di questi anni ci sono stati tentativi di formalizzare i 
criteri di inclusione nelle liste di riviste e di suddivisione in fasce di 
merito. Un punto importante lo ha segnato il cosiddetto documento 
Graziosi (6 marzo 2009), che fornisce raccomandazioni a società 
scientifiche e consulte in relazione ai criteri da utilizzare nella formu¬ 
lazione delle proprie proposte di classificazione di riviste ed editori; 
in particolare, per le riviste italiane vengono indicate le classi di 
merito (da A a D) e il peso di ciascuna classe, i criteri di qualità a 
cui ciascuna rivista valutata deve rispondere. Le raccomandazioni 
suggeriscono anche possibili modelli di pesi da attribuire alle pubbli¬ 
cazioni presenti nelle riviste nelle diverse classi di merito, nell'ottica 
di premiare le pubblicazioni nelle fasce superiori e rendere impos¬ 
sibile che l'accumulo di pubblicazioni della fascia più bassa possa 
portare a risultati paragonabili a quelli di chi ha articoli (magari in 
numero minore) nella fascia più alta. Per le riviste straniere si pre¬ 
vede invece una suddivisione in tre classi di merito. Il documento 

29 Distorsioni legate a giudizi soggettivi e opportunistici sono state pesantemente 
sottolineate nelle liste di discussione ad esempio in merito alla classifica delle riviste 
di biblioteconomia e bibliografia, che premia solo uno dei due settori, e trascura il 
fatto che qualsiasi scienza applicata deve misurarsi costantemente con la professione, 
che è insieme applicazione dei risultati della ricerca e ricerca applicata. 
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è stato un punto di riferimento importante e ci si sarebbe augurati 
che anche i Gruppi di Esperti della Valutazione (GEV) della VQR ne 
riprendessero lo spirito nell'ottica della creazione di liste condivise 
con le comunità scientifiche. Invece il poco tempo a disposizione, 
l'estrema frammentazione delle discipline 30 e i limiti numerici che 
i GEV si sono autoimposti hanno fatto dimenticare il tema dei cri¬ 
teri e le scelte fatte, soprattutto in alcuni settori, risultano piuttosto 
discutibili.'’ 1 

ANVUR ha più volte ripetuto che le liste di riviste verranno 
utilizzate come supplemento di informazioni per i valutatori, e che 
saranno più i risultati della VQR a validare le liste che non, viceversa, 
le liste di riviste a determinare i risultati della valutazione; tuttavia 
rendere esplicita la modalità del loro utilizzo, sapendo in anticipo 
come queste liste verranno utilizzate per progetti pilota, al di fuori 
e indipendentemente dall'esercizio nazionale come avviene in altri 
paesi, avrebbe forse rassicurato gli animi, e non introdotto turbative 
in un processo già per sua natura molto complesso. 

Senza voler riprendere in questa sede tutti gli argomenti portati 
in questi mesi prò e contro le liste di riviste, si vuole però sottolinea¬ 
re che lo stimolo verso un adeguamento a standard internazionali 
(anche nell'ambito di riviste che pubblichino solo nella lingua na¬ 
zionale) e all'adozione di criteri condivisi di qualità, a partire dalla 
trasparenza dei meccanismi di revisione, delle liste dei revisori e 
dei tassi di rifiuto degli articoli e dalle caratteristiche formali delle 
riviste (metadati, indicizzazione, presenza sul web, presenza di ab¬ 
stract e parole chiave), 32 non può che giovare all'editoria scientifica 
nazionale. Questa particolare fase storica rappresenta un'opportu- 

30 Cosa che a portato a creazioni di liste quasi per ogni SSD. 

31 II sito http://www.roars.it ha raccolto nel corso di questi mesi la maggior parte 
delle posizioni sul tema liste di riviste e scienze umane. 

32 Si veda a questo proposito il progetto Latindex e le caratteristiche editoriali 
richieste per le riviste, http://www.latindex.unam.mx/documentos/docu.html. 
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nità di sprovincializzazione anche per gli editori italiani e affinché 
si adottino pratiche ormai comuni in altri paesi. Tutto ciò tenendo 
conto anche del ruolo divulgativo e culturale rappresentato da molte 
ricerche di ambito umanistico, e dunque della molteplicità dei canali 
di comunicazione e dei destinatari. 


La valutazione delle monografie 

Come già sottolineato, il lavoro di GEV e società scientifiche si è 
concentrato in prima battuta sul tema delle liste di riviste, anche se 
(con distribuzione variabile) il canale più diffuso per la comunicazio¬ 
ne dei risultati di ricerca restano il saggio o la monografia. Se anche 
per le scienze sociali e umane, come per quelle dure, in particolare 
in alcune aree, vale la prassi di far convergere diversi e precedenti 
contributi in una monografia, per molti settori questa modalità di 
produzione e divulgazione rimane quella prevalente con le ovvie 
conseguenze rispetto ai tempi, ai modi e ai condizionamenti eserci¬ 
tati dal sistema editoriale sulTintero processo. Si è aperto in questi 
ultimi mesi il dibattito anche con gli editori in merito alla creazione 
di un albo di accreditamento della qualità delle sedi editoriali (Fiori, 
«L'università dà i voti agli editori»). L'argomento è piuttosto spinoso, 
per vari motivi: capita spesso infatti che la pubblicazione di saggi e 
monografie venga fatta a spese degli autori o delle loro istituzioni. 
Senza voler togliere nulla al rigore degli editori, il fatto che si paghi 
per pubblicare, e in assenza di politiche di revisione esplicite, fa 
pensare che le maglie per la validazione siano in questi casi più 
larghe (o quantomeno meno confrontabili) e che alcuni editori siano 
disposti a chiudere un occhio sulla qualità di ciò che pubblicano, 
ovvero che chiudano un occhio sulle pubblicazioni a pagamento per 
poi riuscire a finanziare pubblicazioni che scelgono di pubblicare 
rischiando in proprio. 
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Una classifica delle sedi editoriali pare poco corretta, soprattutto 
perché su questo piano le logiche del mercato e quelle della repub¬ 
blica della scienza vanno a scontrarsi. Gli editori cercano di fare 
buoni prodotti vendibili per rientrare degli investimenti fatti, i ricer¬ 
catori vogliono invece che i loro lavori siano letti (apprezzati, citati, 
criticati) dai colleghi. Il tutto in un'area della scienza dove i fondi 
sono scarsi e le comunità piccole e specializzate, per cui difficilmen¬ 
te si riescono a trovare collane che siano esclusivamente di ricerca. 
Capiterà più facilmente che una collana pubblichi testi divulgativi 
accanto a lavori di ricerca di buon livello. Per questo non ha tanto 
senso dare un voto al contenitore (l'editore o la collana), quanto 
invece proporre criteri qualitativi minimi da rendersi espliciti. In 
particolare la composizione del comitato scientifico, le modalità di 
peer review, un elenco dei revisori. Fra i problemi più urgenti nella 
valutazione delle monografie c'è la definizione delle caratteristiche 
formali (ad es. estensione in numero di pagine) e il significato stesso 
di monografia (per taluni opera di un solo autore, per altri opera 
che approfondisce un tema rispetto ad un ambito più vasto). C'è 
la collocazione di alcune tipologie come ad esempio i manuali che 
spesso hanno anche un impatto scientifico. E c'è il problema di come 
individuare la diffusione di un'opera. 

Un recente filone di studi (Hicks e Wang; Torres-Salinas e Moed) 
vede l'analisi dei cataloghi delle biblioteche 33 come possibile fonte 
di dati sulla diffusione di un'opera, equiparando la presenza di un 
libro in un catalogo di biblioteca ad una citazione. L'analisi, perché 
possa dare una qualche indicazione, va fatta su cataloghi di bibliote¬ 
che di ricerca che siano di riferimento per un determinato ambito 
disciplinare e che abbiano una politica degli acquisti molto precisa 
e dichiarata. 34 Inoltre questo tipo di analisi è abbastanza inefficace 


33 Library Catalog Analysis (LCA). 

34 II che non è semplice in un periodo in cui i budget delle biblioteche sono in fase 
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per quanto riguarda i saggi contenuti in un volume miscellaneo o 
di atti di convegno. Un altro filone di studi affronta invece il tema 
delle hook reviews all'interno delle riviste (Zuccaia e van Leeuwen) 
cercando di sviluppare indicatori utili per la valutazione delle ricer¬ 
ca. Anche qui siamo solo agli inizi e gli strumenti di riferimento 
sono ancora una volta quelli da cui la maggior parte della nostra 
ricerca è esclusa (in particolare Web of Science), inoltre i tempi attra¬ 
verso i quali un lavoro stimola recensioni sono piuttosto lunghi e le 
recensioni possono essere anche delle stroncature, tuttavia forse in 
questo ambito i dati potrebbero essere più facilmente recuperati. Le 
recensioni contribuiscono alla definizione della qualità di un lavoro, 
sono dunque importanti, ma poiché non vengono valutate (almeno 
non nello schema previsto dall'ANVUR per la VQR, c'è il rischio 
che nessuno le scriva più. 35 Resta poi la possibilità di utilizzare i 
dati citazionali di Google Books (Kousha e Thelwall) o di Google 
Scholar. Anche qui, al di là degli entusiasmi favoriti dalla - appa¬ 
rente - "democraticità" del percorso e dalla disponibilità diffusa 
dell'informazione ivi contenuta, il lavoro di recupero e pulizia dei 
dati risulta piuttosto oneroso, così come la trasparenza delle fonti; 
anche qui gli studi sono appena all'inizio, per cui per poter avere 
risultati minimamente credibili si dovrà attendere ancor parecchio. 


Conclusioni 

Benché le discipline umanistiche abbiano cominciato solo recen¬ 
temente (o molto recentemente) ad occuparsi delle tematiche della 
valutazione della ricerca e delle problematiche connesse, e benché 

di contrazione e soprattutto la maggior parte delle risorse è vincolata agli acquisti di 
periodici e banche dati. 

35 In alcuni atenei si cominciano a raccogliere le recensioni anche nelle anagrafi 
della ricerca, e ANVUR stessa ha previsto per la VQR un campo dove segnalare 
recensioni e menzioni particolari. 
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manchi una tradizione di studi e di ricerche su questi temi, la nomi¬ 
na dell'ANVUR e l'avvio dell'esercizio nazionale di valutazione ha 
costretto anche le comunità scientifiche più restie ad avvicinarsi al 
dibattito sui metodi della valutazione e sugli indicatori, a recuperare 
velocemente il ritardo rispetto agli altri paesi europei così come ad 
una approfondita riflessione su come coniugare quantità e qualità 
nell'analisi della produzione scientifica di aree, gruppi. Dipartimenti 
e Atenei in una maniera che sia comparabile. 

Il primo problema che balza all'occhio è la difficoltà a dotarsi di 
un supporto informativo condiviso da cui attingere (dati, indicatori 
etc.), e il fatto che la soluzione a tale problema non possa venire dal 
processo, peraltro in atto, di progressiva estensione della copertu¬ 
ra dei principali database esistenti, nati nell'ambito delle scienze 
dure, verso questi settori. Temi quali la frammentazione delle aree 
scientifiche, le diverse modalità di produzione e divulgazione dei 
risultati, unitamente ai modi e agli strumenti impiegati per il rico¬ 
noscimento reciproco dei contributi utilizzati dai singoli autori per 
l'avanzamento culturale e scientifico, per non parlare delle barriere 
linguistiche e della non sequenzialità temporale delle proposte e 
delle idee, rendono queste aree sicuramente peculiari in materia 
di informazioni utili, del loro stoccaggio, del loro trattamento. Da 
qui lo sforzo per tentare di uscire da una modalità di valutazione 
esclusivamente centrata sul "giudizio di valore" esercitato da uno 
o più esperti, sia nelle sedi accademiche, sia in quelle editoriali, sia 
nella combinazione dei due mondi. Uno sforzo che è ancora in cerca 
di una credibile proposta. 

A rendere ulteriormente problematica tale prospettiva contribui¬ 
sce la difficoltà a individuare un "mercato" realmente intenzionato a 
sostenere tale processo e ad affrontare i relativi costi. Quanto è avve¬ 
nuto in questi mesi nel dibattito sull'esercizio VQR in queste aree ha 
teso a privilegiare i problemi piuttosto che a evidenziare le soluzioni. 
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Infatti, se i dati languono, sono ancora più carenti le conoscenze 
che dovrebbero concorrere a concettualizzare la progettazione delle 
attività per raccogliere e trattare le informazioni necessarie. 

Il secondo punto da sottolineare è, di conseguenza, la necessi¬ 
tà dell'avvio di studi e ricerche sulla valutazione nell'ambito delle 
scienze umane che non siano legati a processi di valutazione in atto, 
ma che ne siano del tutto svincolati e che permettano di analizzare, 
anche studiando esperienze di altri paesi, come coniugare quantità 
e qualità, e che tengano presente il tema dell'impatto (social inno- 
vation) che hanno le ricerche in questi ambiti e che richiedono lo 
sviluppo di indicatori ad hoc. 36 Senza peraltro trascurare, in que¬ 
sti studi, l'analisi della concreta possibilità per poter raccogliere le 
informazioni, per evitare un rischio di astrattezza che costituisce il 
parallelo alla via di fuga in cui molti cadono ("non sono certo contro 
la valutazione ma quella che viene proposta non può essere usata 
per le scienze sociali e umane... "). Una delle possibili ricadute, 
certamente dipendente dalla credibilità e dalla condivisone degli 
esiti, che l'esperienza VQR potrà esercitare sulla realtà nazionale 
sarà costituita dal moltiplicarsi di esperienze locali che si rapportino 
e confrontino tra di loro, sul modello degli Osservatori sulla ricerca 
e, magari, una spinta verso un "traino europeo" come già avvenu¬ 
to più di vent'anni fa per le scienze dure nell'ambito dei lavori, e 
della sponsorizzazione culturale ed economica, decisi in sede di 
Commissione e Programma quadro. 

Infine una riflessione va avviata sul concetto stesso di qualità 
della ricerca. Se nel mondo delle scienze dure tale concetto viene 
associato o al contributo fornito alla soluzione dei problemi, pur 
nel loro diverso grado di concretezza e di comprensione da parte 
dei non addetti ai lavori, o alla significatività di innovazione, misu- 

36 A questo proposito sarà interessante vedere come nel REF si riuscirà a misurare 
il "social impact" e con quali ripercussioni sulla valutazione delle strutture. 
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rata sul livello reciprocamente riconosciuto dello "stato dell'arte", 
peraltro solo parzialmente associabile al superamento di difficoltà 
concettuali o interpretative, come nel noto caso della fusione nuclea¬ 
re, tra le scienze umane in molti casi il riconoscimento del contributo 
e della sua importanza avviene con modalità e tempi difficilmente 
programmabili. Gli avanzamenti incrementali, sicuramente più pa- 
rametrabili, finiscono per prevalere su quelli radicali, almeno nel 
breve termine. L'eterodossità e la variabilità nella produttività fini¬ 
scono col penalizzare il nuovo rispetto al consolidato, o meglio, non 
favoriscono una generale riconoscibilità della rilevanza del nuovo, 
tema che costituisce, peraltro, una delle maggiori critiche (l'atteg¬ 
giamento conservativo) rispetto all'uso della peer review. Serve 
quindi un rinnovato sforzo di concettualizzazione per poter fare 
un significativo passo in avanti: e a questo sforzo devono poter 
concorrere le diverse conoscenze finalizzate a un lavoro comune, 
come nel caso di chi la ricerca la fa (docenti e ricercatori) e chi ne 
classifica e ne documenta i risultati (bibliotecari, esperti informati¬ 
ci), affiancati naturalmente da competenze sui diversi aspetti della 
valutazione. Senza trascurare, anche per questa area della ricerca, 
le trasformazioni che derivano dai moderni strumenti della comu¬ 
nicazione e dell'informazione, oggi ancora confinati al "supporto" 
fornito ad un processo produttivo ancora "sequenziale e analogico" 
ma che appare destinato a "digitalizzarsi" sempre di più, con tutte 
le conseguenze, difficilmente prevedibili, anche per la valutazione. 
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ABSTRACT: Il tema della valutazione nelle scienze umane è divenuto di grande 
attualità soprattutto dopo l'avvio dell'esercizio di valutazione nazionale (VQR 2004- 
2010). Più ancora che per le scienze dure il dibattito sugli indicatori, sul come (e 
se) correlare qualità e quantità, sul concetto stesso di qualità della ricerca è molto 
vivace non solo per le caratteristiche intrinseche della produzione scientifica in queste 
aree, ma anche per una cronica mancanza di dati bibliografici e bibliometrici. Il 
contributo fa il punto sullo stato dell'arte, tenendo presente le esperienze, di altri 
sistemi della ricerca, e tenta di individuare alcune direttrici lungo le quali sarebbe 
opportuno muoversi in futuro: la creazione di una base di dati bibliografici secondo 
standard condivisi, la costruzione di un griglia di riferimento per la valutazione delle 
monografie, un migliore sfruttamento delle nuove tecnologie sia per la distribuzione 
e validazione dei lavori di ricerca che per la loro valutazione. 
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